註：本文同步更新在Notion!（數學公式會比較好閱讀）

神經圖靈機（Neural Turing Machine, NTM） 是由深度學習和計算機科學相結合的一個前沿模型。它的設計靈感來自經典的圖靈機模型，但將其與神經網路進行了融合，使得神經網路能夠同時具備學習和記憶的能力。NTM被認為是探索人工通用智能（AGI）的一步，它不僅能處理傳統神經網路能解決的問題，還能解決需要長期記憶和複雜操作序列的問題。

神經圖靈機的核心構想

NTM 模型的核心思想是結合傳統神經網路和可讀寫的外部記憶庫。這使得網路能夠像圖靈機一樣進行計算，即：

• 神經網路：相當於圖靈機中的「控制器」，負責決定何時讀寫和執行計算操作。
• 外部記憶體：相當於圖靈機中的「帶子」，可被隨機讀寫，允許網路存儲大量信息並進行複雜的記憶操作。

這一結構使得 NTM 能夠模仿人類的學習與記憶過程，不僅可以處理短期數據的模式識別，還能夠基於外部存儲實現更長期的依賴處理。

(a) 神經網路控制器

控制器可以是遞迴式神經網路（RNN）、LSTM 或 GRU。這些控制器負責決定如何從外部記憶中讀取信息，並將結果寫入到外部記憶。控制器的輸入通常為當前時間步的輸入向量和之前的記憶狀態。

(b) 外部記憶操作

(c) 損失函數與訓練

NTM 的損失函數根據具體任務進行設計，通常使用標準的交叉熵損失或平方誤差來訓練控制器和記憶操作。透過反向傳播演算法（Backpropagation Through Time, BPTT）進行更新，其中記憶操作的梯度由該機制自動計算。

結論

從數學角度來看，NTM 的創新之處在於它為神經網路提供了「隨機存取記憶」的能力，這使得神經網路不再只依賴於其內部狀態來處理信息，而是可以動態管理和操作外部記憶，形成一種可計算的結構。

這種模型與傳統的遞迴神經網路相比，拓展了其表達能力，並且在計算理論上打破了神經網路無法處理圖靈完備問題的限制，使得神經網路可以解決更廣泛的計算問題。